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Abstract of DE1 9847261 

The invention relates to methods and a system for face detection in a binarized image by comparing the 
point groups of the binarized image with the point groups of a face pattern, wherein the point groups of 
the binarized image and the face pattern are compared between the points of the point groups on the 
basis of Hausdorff distance and the points in the binarized image are recognized when a measure derived 
from the Hausdorff distance is lower than a threshold value. 
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Prufungsantrag gem. § 44 PatG ist gestellt 

@ Verfahren und System zur Personenerkermung mit modellbasierter Gesichtsfindung 
@ Die Erfindung betrifft ein Verfahren und ein System zu 

Gesichtsfindung in einem binarisierten Biid durch Verglei 

chen der Punktegruppe des binarisierten Bildes mi 

Punktegruppe eines Gesichtsmodells, bei dem die Punk- 

tegrupperi des binarisierten Bitdes und des Gesichtsmo- 
dells anhand des Hausdorff-Abstandes zwischen den 

Punkten der Punktegruppen verglichen werden und ein 

Gesicht in dem binarisierten Bild erkannt wird, wenn ein 

aus dem Hausdorff-Abstand abgeleitetes MaB einen 

Grenzwert unterschreitet. 
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Beschreibung 

Die Erfindung betrifft ein Verfahren und ein System zur 
Personenerkennung mil i icdcli isierter Gesicl 1 

Es gibt Verfahren und Systeme zur biometrischen Perso- 
nenerkennung, die sich auf eine Kombination aus Gesichts- 
erkcnnung, Spracherkennung and Lippenbewegungserken- 
nung stiitzen. Der kritische Teil dabei ist die Gesichtsfin- 
dung. Die Erfindung betrifft ein Verfahren und ein System 
zur Lokalisierung des Gesichls einer Person in beliebigen 
Katnerabildem innerhalb eines solchen Systems zur biome- 
trischen Personenerkennung. 

Das grundlegende Element bei dcr Gesichtserkennung ist 
die Gesichtsfindung, d. h, die exakte Lokalisierung des Bild- 
ausschnitt.es, der dem me-nschlichen Gesicht enlspricht. Im 
Stand dcr Tccbnik veminfeehen einige I^sur.gsvorschlagt* 
diese ProbLematik, indent sie einen einheitlichen Hinter- 
grund fordern, vor dem dann das Gesicht gefunden werden 
kann. Auch durch Hinzunahme der Bewegtbildinformalio- 
ncn kann ein Gesicht erkannt werden, wobei bier untersteilt 
wird, daB nur der Bereich des B ildes, der sich im Laufe einer 
Rildfolge andert, das Gesicht enthalt. 

Solche einfachen Ansatze geniigen den heutigen Anfor- 
derungen an die Gesichtsfindung und -erkennung nicht 
mehr. Die Personenerkennung wird heute beispielsweise 
durch PC-Desktopkameras und andere mobile Kameras un- 
terstiitzt, so daB die Gesichtsfindung auch dann robust funk- 
tionieren muB, wenn ein beliebiger Hintergrund oder sogar 
ein bewegt.es Hintergrundbild vorliegt. 

Die erfolgreichsten der hcute bekannten Ansatze auf die- 
sem Gebiet. benutzen neuronale Netze. Diese Netze werden 
mit einer groBen Anzahl von Gesichtsbeispielen trainiert, 
wobei bei dem Training als Gegenklasse eine noch groBere 
Anzahl von "Nicht-Gesichisbildcrn" verwendcl wird, clamit 
das neuronale Netz schliefilich zwischen Gesicht und Hin- 
tergrund unterscheiden kann. Ein Nachteil dieser Methode 
istneben der langen Rechenzeit die starke Abhangigkeit von 
Varianzcn, wie Skalicrung, Rotation und Vcrzcrrung. 

Die Erfindung hat daher zur Aufgabe, ein neues System 
und Verfahren zur Gesichtsfindung anzugeben, das robust 
ist und eine Gesichtsfindung in Echtzeit zu leisten vermag. 

ZurL.6su.ng dieser Aufgabe schlagtdie Erfindung ein Ver- 
fahren mil den Merkmalen von Anspruch rund ein System 
mit den Merkmalen von Anspruch 8 vor. 

Das erlindungsgemaBe Verfahren und System sind mu- 
dellbasiert. Das heiBt, es wird ein binares Bild eines 
uienschliches Gesichtes, oder eine sogenannte "Striehzeich- 
nung" in einem entspreebenden Gesamtbild gesucht. Aus ei- 
nem Originalbild wird also zunachst ein binarisiertes Bild, 
z. B. mit.tels Kantenextraktion, erzeugt, und dieses binari- 
sierte BiLd wird mit einem binaren Gesichtsmodell vergli- 
chen, um das Bild des menschlichen Gesichtes in dem ent- 
sprechend binarisierten Gesamtbild zu suchen und zu fin- 
den, lis wird also nicht, wie bei den bisherigen Ansatzcn des 
Standes der Technik, der Intensitatswert der einzelnen Ka- 
merapixel verglichen oder nach Pixeiveranderungen ge- 
sucht, sondern die Erfindung stiitzt sich auf eine Modeil- 
slruktur nach Art einer Strichzeitung, die z. B. in Form einer 
Bitabbildung vorliegen kann. 

Das Model! des Gesichtes oder die "Strichzeichnung", 
wird mil dem binarisierten Bild mit Hilfe einer modifizier- 
ten Version des sog. Hausdorff-Abstandes in zahlreichen 
Skalierungs-, Rotations- und Verzerrungsvarianten des Bil- 
des verglichen. Die Anwendung des Hausdorff-Abstandes 
auf die Gesichtserkennung wurde z. B. von B. Takacs und 
H. Wechsler in "Face Recognition Using Binary Image Me- 
trics", 2nd International Conference on Automatic Face and 
Gesture. Recognition, IEFF Proceedings, April 1998, be- 



schrieben. Auf diese Veroffenllichung und die dortige Fx.iiu 
terung des Hausdorff-Abstandes wird ausdrucklich Bezug 
genommen. 

Die genannte Veroffentlichung beschreibt die Anwen- 

5 dung des Hausdorff-Abstandes zum Zwecke dcr Gesichtser- 
kennung. Ausdrucklich wird darauf hingewiesen, daB die 
Gesichtsfindung mit einem ganzlich anderen Verfahren er- 
reicht wird. Die Verwendung des Hausdorff-Abstandes zur 
Gesichtsfindung wurde im Stand der Technik nicht in Erwa- 

10 gung gezogen, u. a. weil dieser Algorithmus sehr viel Re- 
chenzeit in Anspruch nimmf. 

Dabei sollfc man sich die grundsatzlichen Unlerschiede in 
der Problematik der Gesichtsfindung und der Gesichtserken- 
nung ins Gedachtnis rufen: Wenn das Gesichl in einem, ins- 

15 besondere bewegten Biid einmal gefunden ist, kann dieses 
Gesicbfsbild zur Erkennung bzw. Identifikation mil nahczu 
beliebigen Methoden mit einer Sammlung von Gesichfern 
aus einer Datenbank vergLichen werden. Ist das fraglichc 
Gesicht in der Datenbank enthalten, sind die Treffcrraten im 

20 ailgemeinen iiblicherweise sehr hoch, bei clwa 99%. Das 
Schwierige bei der Personenerkennung isf jedoch der vor- 
ausgeschaltete Schritt, in einem beliebigen Bild zunachst 
das Gesicht zu finden und perfekt. "auszuschneiden". Was 
bei der worfsinngemaBen Gegeniiberslellung Gesichtser- 

25 kennung/Gesichtsfindung also als geringfiigigcr Unter- 
schied erschcincn mag, ist i m F.rgebnis fur die Gesichls- und 
somit Personenerkennung entscheidend fur die Giitc des Er- 
gcbaisses. 

Der Bildvergleich mithilfe des Hausdorff-Abstandes ba- 
30 sierl auf folgenden Grundlagen: 

Aus dem binarisierten Bild und dem Gesichtsmodell wer- 
den zwei Punklegruppen gebildet, 

A={a L a,,,) 



B= [b l ,...,b„} 

40 der Hausdorff-Abstand ist dann definiert durch Ii (A, B) = 
max (h (A, B), h (B, A)), wobei 



h(A, B) = 



) bil. 



45 Das erfindungsgemiiBe System und Verfahren sind un- 
empfindlich gegeniiber den hiiufsgsten Sloreinwirkungen, 
wie eine Drehung, unterschiedliche Skalierung oder Verzer- 
rung des Bildes, weil diese bei detn Vergleich der Punkte- 
gruppen leicht berucksichtigt werden konncn. Auch ist fur 

50 den Einsatzdes erfindungsgemaBen Verfahrens kein langer 
Einlemvorgang nolig, anders als bei den neuronaien Nelzen. 
Im Gegensalz zu den Ansat/.en mil neuronaien Nclzcn mus- 
sen auch keiue "Nichl-Gesichtsbilder" vorgegeben, gclernt 
oder auf andere Wcisc bcriic'.^iciiligt werden. Das System 

55 erkennt ein Gesicht, wie der Mensch, aufgrund der Eigen- 
schaften des Gesichtes selbst, nicht aufgrund der Eigen- 
schaften des Hintergrundes, die somit nicht berucksichtigt 
werden mussen. Durch eine geeignete Ausbildung des Mo- 
dells, der "Strichzeichnung", konncn gesuchte Besonderhei- 

60 ien (z. B. Brillentrager) schnell in dem Modell berucksich- 
tigt werden. 

Das erfindungsgemiiBe System und Verfahren konnen in 
der Zukunft in biometrischen Identifikalionssystemen zur 
automatischen biometrischen Zugangskontrolle verwendcl. 
65 werden, bei denen haufig die Gesichtserkennung, Spracher- 
kennung, Lippenbewcgungserkennung, Retinaabtastung, 
etc. kombinierl werden. Mit Hilfe der Erfindung ist es mog- 
lich, fur die Gesichtserkennung den exakten Gcsichtsaus- 
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schnitl zu linden, die exakte Augenposition fur eine Reti- 
r.aabiastung zu lokalisieren, die cxakic Mundposition zur 
Berechnung derLippenbewegungen zu lokalisieren und der- 
gleichen. 

Daserfindu nal i; em und Verfahren konnen je- 
doch noch sehr viel universeller eingesetzt. werden, indem 
z. B. durch Vorgahe entsprechender binarer Modelle nur 
Mcnschcn mil bcstiumilcn Oesichlsziigcti crkann: werden, 
uin nach solchen Merkmalen wie Mimik, Rasse oder Ge- 
schlcchl. zu unterscheiden. Das erfindungsgemaBe Verfahren 
und System sind nichl. einmal auf die Gesichtsfindung be- 
schrankt, weil das Modell, nach dem gesucht wird, auch 
einc Hand oder einen anderen oder niehrere Teiie des 
mcnschlichcn Korpcrs oder einer Sache umfassen konnte. 

In ihren bevorzugten Ausfuhrungsformen sieht die Erfin- 
dung fiir die Gesichlsfindung die Anwendung eines modifi- 
zierten Hausdorff-Abstandcs vor, um den Rechenaufwand 
zu minimieren und so ein Ergebnis innerhaib einer vertret- 
baren Rechenzeii zu erhallen. Mit der derzeitigen Ausfiih- 
rungsform des modifizierten Hausdorff-Abstandcs zur Ge- 
sichlsfindung kann etwa ein Gesichtsbild pro Sekunde de- 
tckliert werden. 

Zusatzlich sieht die Erfindung eine neuartige Vorauswahl 
des Bildes durch eine speziclle Ausnutzung der Voronoi- 
oberflache vor, die auch zur Beschleunigung des Verfahrens 
beilragl. 

Das erfindungsgemaBe System und Ver.ahren konnen so- 
wohl als Software als auch als Hardwaremodule realisiert. 
werden, wobei die modifizierten Algorithmen entweder pro- 
granmriert oder in einer eigencn Hardware realisiert und so- 
mit wenigstens in der Hardwareldsung echtzeitfahig sind. 

Die Erfindung ist im folgenden mit weitcren Einzelheiten 
in bezug auf die Zeichnungcn naher crlautert. In den Figuren 
zeigen: 

Fig. 1 ein Originalbild, das mit einer digitalen Kamera 
aufgenomtnen wurde; 

Fig. 2 eine binarisierte Version des Originaibildes der 
Fig. 1; 

Fig. 3 ein binares Gesichtsmodell in Form einer Strich- 
zeichnung; und 

Fig. 4 die mit. Hilfe des Gesichtsmodelles der Fig. 3 in 
dem binarisiertcn Bild der Fig. 2 gefundene Position des 
Gosichtsmodells. 

Fig. 1 zeigt das Onginalbild einer Person mit Gesicht, 
Schullerpartie und Hintergrund, das mittels Kanlenexlrak- 
lion in das in Fig, 2 dargestellt.e binarisierte Bild umgewan- 
dell. wird. Hierzu werden die Kanten am Hell-Dunkel-Uber- 
gang in dem Originalbild dazu verwendet, eine Art Strich- 
zeichnung des binarisierten Bildes gemaS Fig. 2 herzustei- 
len. Gesucht wird nach dcni zweidimensionalen Gesichts- 
modell der Fig. 3 mil. Hilfe des Hausdorff-Abstandes unter 
den unt.en naher erort.erten Bedingungen. 

Der aUgcniciiK Ilausdorff-Abstand biel.ct ein Mittcl zur 
Beslimmung der Ahnlichkeil einer Punktgruppe zu einer an- 
deren durch Uniersuchung des Anteils der Punkte in der ei- 
nen Gruppe, die in der Nahe von Punkten in der anderen 
Gruppe, oder umgekebrt, liegen. Es gibt zwei Parameter, um 
zu entscheiden, ob die zwei Punktcgruppen einander ahneln 
oder nichl: (i) der ma? m de ' ! -, id, den die Punkte von- 
einander entfemt sein konnen und bei dem sie gleicrrwohl 
noch als nah beieinander liegend bet.rachl.et werden, und (ii) 
welcher Anteil der Punkte in einer Gruppe maximal diesen 
Absland von den Punkten in der anderen Gruppe entfemt ist. 

Die Gesichlsfindung mil Hilfe des Ilausdorff-Abstands- 
maBes unterscheidet. sich von anderen Teclmiken, wie der 
binaren Korrelalion, weil cs keine Paarung der Punkte in 
den beiden Gruppen gibt, die verglichcn werden. Eine Er- 
laulerung der mathemalischcn Grundlagen des Hausdorff- 



Abstandes findet man im Internet unter der Adresse 
http://www.es . cornel 1 .edu/ Vision/ha u sdorff/h aus- 

match.ht.ml. In diesem Dokument sind die Grundlagen des 
Hausdorff-Abstandes erlautert, auf die Bezug genommen 
5 wird. 

Die zweidimensionale Bifdabbildung der Fig. 3 dient. also 
als ein Gesichtsmodell, das in dem binarisierten Bild der 
Fig. 2 lokalisierl werden soli, wobei geeignete zweidimen- 
sionale Transformationen und Skalierungen vorgenommen 

io werden konnen. 

Fig. 4 zeigl d e b ste lb i j n limmung des Modeils der 
Fig. 3 mit dem binarisierten Bild der Fig. 2 und somit die 
gefundene Position des Modeils in dem binaren Bild in dem 
Sinne, daC in Fig. 4 der groBte Anteil der binarisierten Kan- 

15 tenpunkte der Fig. 2 in der Nahe der Bildpunkte der Fig. 3 
liegen. Bei Verwendung des Hausdorff-Abstandes findet 
man auch dann eine Ubereinstimmung zwischen dem Ge- 
sichtsmodell und dem binarisiertem Bild, wenn die entspre- 
chenden binaren Punkte nicht. exakt iibereinanderliegen. 

20 Zur Realisierung dieses modellbasierten Gesichtstin- 
dungsverfahrens werden bei einer bevorzugten Ausfuh- 
rungsfomi der Erfindung folgende Modifikationen des 
Hausdorff-Abstandes vorgenommen, um eine Gesichlsfin- 
dung in Echtzeit. zu erreichen: 

25 Die Erfindung verwendet einen hierarchischen Ansatz, 
bei dem zuniichsl das binarisierte Bild stark verkleinert. 
wird, in dem verkleinerten binarisierten Bild nach einem 
entsprechend kleinen Gesichtsmodell gesucht wird; und 
wenn eine bestimmie Region als walirscheinlicher Ort des 

30 gesuchten Gesicht.es erkannt wird, wird diese Region und 
ihre Umgebung vergroBert, um den Suchvorgang mit einem 
entsprechend groBeren Modellgesicht fort.zuset.zen, usw. 

Bei dieser hierarchischen Suchweise werden unterschied- 
liche Modeile verwendet; d. h, bei dem stark verkleinerten 

35 binarisierten Bild wird z. B. ein Modell (Fig. 3) mit Schul- 
tem verwendet, um die Person zuverlassig zu erkennen. Je 
groBer derMaBslab des binarisierten Bildes wird, desto fei- 
ncr wird auch die Auflosung, und desto dctaillicrtcr wird das 
Modell fiir die Gesichlsfindung, so daS schlicBlich ein Mo- 

4f) deil verwendet werden kann, das z, B. nur noch Augen, 
Nase und/oder Mund enthalt. 

Auch die Kantenextraktion zur Ilerstellung des binarisier- 
ten Bildes der Fig. 2 kann an die jeweiligen Hierarchiest.u- 
fen, in denen unter; hiedlicJ eine \uHosungen beriotigt 

45 werden, angepaBl werden. Hierzu sieht die Erfindung die 
Verwendung eines adaptiven Sobel-Filters vor. 

Innerhaib der verschiedenen Hierarchies ufen 1 mi ;n je- 
weils geeignete Rolationen des Bildes und/oder des Modeils 
vorgenommen werden. 

50 Zusatzlich sieht die Erfindung vorzugsweise eine Vorfillc- 
rung des binarisierten Bildes (Erosion, Dilatation, etc.) vor. 

Ein weitercs wichtiges Merkmal der Erfindung ist die 
Modifikatioi! des Hausdorff-Abstaades. Bei einer besonders 
bevorzugten Ausfiihrungsform der Erfindung isl vorgese- 

55 hen, mit einem modifizierten Hausdorff-Abstand zu arbei- 
ten, bei dem nicht. nur der mittlere Absland aller minimalen 
Abstande zwischen Modell und Bild als AbstandsmaB ver- 
wendet. wird, sondem bei dem der Mittelwert der ersten x% 
((J<x<100) aller minimalen Abstande als Grundlage der Be- 

60 rechnung des Hausdorff-MaBes dient, damitgroBere Abwei- 
chungen ('AusreiBer , ') nichl beriicksichtigt werden und das 
Ergebnis verfalschen. 

Patentansprifche 

65 

1. Verfahren zur Gesichlsfindung in einem binarisier- 
ten Bild durch Vergleichen der Punktegruppc des bina- 
risierten Biides mil der Punkiegruppe eines Gesichls- 
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modeils, bei dem die Punktegruppen des binarisierten 
Bildes und des Gesichlsmodells anhand desIIausdorlT- 
Abstandes zwischen den Punkten der Punklegruppen 
verglichcn wcrden und cin Gesicht in dem binarisierten 
Bild erkannt wird, wenn ein aus dem Hausdorff-Ab- 5 
stand abgelei teles MaB einen Grenzwert unlerschreitet. 

2. Verfahren nach Ansprnch 1, bei dem das binarisierte 
Bild aus dem Originalbild mittels Kantenextraktion ab- 
geleitet. wird. 

3. Verfahren nach Anspruch 1 oder 2, bei dem das bi- 10 
narisierte Bild zunachst in einem kleinen MaBstab mit. 
einem entsprechend kleinen Gesichtsmodell verglichen 
wird, der Bereich des binarisierten Bildes, in dem ein 
Gesicht. gefunden wurde, vergroBert und mit einem enl- 
sprechenden groSeren Gesichtsmodell emeut vergli- 15 
chen wird und das VergroBern und Vergleichen von bi- 
narisiertem Bildbereich und Gesichtsmodell ggf. wie- 
derholt wird, bis das Gesicht in dem binarisierten Bild 
mit ausreichender Genauigkeit lokalisiert wurde. 

4. Verfahren nach Anspruch 3, bei dem je nach Grolie 20 
des binarisierten Bildes unterschiedliche Gesichtsnio- 
delle mit. unterschiedlicher Auflosung verwendet wer- 
den. 

5. Verfahren nach Anspruch 3 oder 4, bei dem je nach 
GroBe des binarisierten Bildes die Kantenextraktion fur 25 
die Ableitung des binarisierten Bildes aus dem Origi- 
nalbild mit unterschiedlicher Auflosung erfolgt. 

6. Verfahren nach einem der Anspruche 3 bis 5, bei 
dem je nach Grofie des binarisierten Bildes unter- 
5ch Hi he In lalionsslufen verwemlet wcrden. 30 

7. Verfahren nach einem der vorangehenden .Anspru- 
che, bei dem das Hausdorff-MaB auf der Grundlage des 
Mittelwert.es der kleinsten \% aller minimalen Haus- 
dorff-Abstande ermittelt wird, wobei 0<x<100. 

8. System zur Realisterung des Verfahrens nach einem 35 
der vorangehenden Anspriiche mit einer Rechenvor- 
richtung zur Berechnung des Hausdorff-Abstandes und 
des Hausdorff-MaBcs auf der Grundlagc der Punktc 
des binarisierten Bildes und des Gesichtsmodells. 
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